阿布的进击: 没少中挖矿病毒吧

莫失莫忘丶: 请问下主键显示全字段如何解决的呢

lmw0320: 请教下大佬： 我使用pyspark --master yarn进入交互环境后，逐步执行py代码，可以正常获取到hbase的相关数据。而且执行过程中，可以在hadoop的cluster界面，看到相应的任务进程。 而用spark-submit test.py --master yarn来提交相同的py代码执行，却一直提示资源无法获取。同时，却无法在hadoop的cluster界面看到相应的任务进程。 如果我强制结束该运行命令，在Spark的History Server的提交记录中却看到了该任务。。 这种情况是怎么回事呢?？ 我哪里配置不正确了？ 有人说是yarn配置不对，但是具体是哪个不对呢。。恳请指点迷津~~

lmw0320: 请教下，如果我是用pyspark交互环境下进入yarn模式，可以正常连接hbase获取数据。 而如果用spark-submit提交完整的py代码，则会报这个资源不足的提示：WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 进入pyspark的时候命令是pyspark --master yarn，我并没有指定相应的worker内存。。 同样的，我用spark-submit提交的时候，也是没有指定： spark-submit --master yarn test.py 结果却一直无法获取到数据。RM的UI页面上，我也没有看到相应的任务在执行。。 而我强制结束该spark-submit任务时，在Spark Server的提交记录中却看到了该任务。。 求指点下，如何解决。。

商俊超: 楼主您好，我为啥没有SparkSessionSingleton这个？